Ngày 13 tháng 12 năm 1996, Annan đắc cử tổng thư ký Liên Hiệp Quốc, bốn ngày sau ông được phê chuẩn bởi Đại hội đồng và bắt đầu nhiệm kỳ của mình ngày 1 tháng 1 năm 1997. Annan thế chỗ tổng thư ký người Ai Cập Boutros Boutros-Ghali vừa mãn nhiệm và trở nên nhân vật da màu đầu tiên đến từ một quốc gia châu Phi đảm nhận vị trí lãnh đạo Liên Hiệp Quốc.

Annan tái đắc cử và bắt đầu nhiệm kỳ thứ hai ngày 1 tháng 1 năm 2002. Sự kiện này được xem như là một ngoại lệ vì theo thông lệ, đại diện từ các châu lục tuần tự đảm nhận chức vụ này trong hai nhiệm kỳ. Vì người tiền nhiệm của Annan, Ghali, đến từ châu Phi, nên theo lệ thường, Annan chỉ nên phục vụ một nhiệm kỳ. Dù vậy, Annan đã có thể bảo đảm cho mình được tái bổ nhiệm cho nhiệm kỳ thứ hai.

Tháng 4 năm 2001, Tổng Thư ký Liên Hiệp Quốc Kofi Annan đưa ra lời hiệu triệu năm điểm "Tiến tới hành động" nhắm vào đại dịch HIV/AIDS. Ông xem việc chống lại đại dịch này là một ưu tiên cá nhân, như là tổng thư ký Liên Hiệp Quốc và là một người thường. Ông đưa ra sáng kiến thành lập Quỹ Y tế và AIDS toàn cầu, nhằm khuyến khích gia tăng mức chi tiêu cho mặt trận đối đầu với cuộc khủng hoảng HIV/AIDS tại các quốc gia đang phát triển.

Ngày 10 tháng 12 năm 2001, Annan và Liên Hiệp Quốc được trao giải Nobel Hoà bình, "vì những nỗ lực giúp kiến tạo một thế giới an bình hơn và được tổ chức tốt hơn".

Trong nhiệm kỳ của mình, Tổng Thư ký Annan chứng kiến các diễn biến của cuộc chiến Iraq, ông kêu gọi Hoa Kỳ và Anh không nên hành động mà không có sự hậu thuẫn của Liên Hiệp Quốc. Năm 2004, Annan gọi cuộc chiếm đóng Iraq là bất hợp pháp.

Tháng 5 năm 2004, Annan nhận một bản báo cáo từ Ban Nội chính Văn phòng Liên Hiệp Quốc (OIOS), xác nhận Cao ủy Tị nạn Liên Hiệp Quốc Ruud Lubbers có trách nhiệm về những cáo buộc quấy rối tình dục đối với một nữ viên chức thuộc quyền. Tuy nhiên, ngày 15 tháng 7 năm 2004, Annan tuyên bố Lubbers vô tội, mặc dù Lubbers viết một bức thư cho người phụ nữ này có nội dung, theo nhận xét của nhiều người, được hiểu là một lời đe doạ.

Tháng 12 năm 2004, thượng nghị sĩ Hoa Kỳ thuộc đảng Cộng hoà Norm Coleman kêu gọi Annan từ chức sau khi xuất hiện các bản báo cáo cho rằng con trai của ông, Kojo Annan, nhận những khoản tiền từ một công ty Thụy Sĩ, Cotecna Inspection SA. Công ty này đã giành được những hợp đồng béo bở từ chương trình đổi dầu lấy lương thực của Liên Hiệp Quốc. Annan cho mở cuộc điều tra về cáo giác này. Ủy ban điều tra, dưới quyền của Paul Volcker, trong bản báo cáo tháng 3 năm 2005, không đưa ra kết luận rõ ràng nào, chỉ nhận xét rằng lẽ ra cuộc điều tra nên được tiến hành sớm hơn. A. Yakolev, viên chức phụ trách đấu thầu của Liên Hiệp Quốc, vào ngày 8 tháng 8 năm 2005, ra đầu thú với FBI; sau đó, tại toà án Manhattan, New York, Yakolev thú nhận đã nhận "hàng trăm ngàn đô la" từ các công ty làm ăn với chương trình đổi dầu lấy lương thực, ông chấp nhận ba tội danh: nhận hối lộ, gian lận tài chính và rửa tiền. Vụ án này gợi lại những nghi vấn liệu ông tổng thư ký Liên Hiệp Quốc có biết những việc làm của con trai mình hay không .

Tuy nhiên, bên ngoài Hoa Kỳ, Annan ít gặp chống đối hơn; ông có được sự ủng hộ của Hội đồng Bảo an Liên Hiệp Quốc.

Ngày 21 tháng 3 năm 2005, Annan đệ trình Đại hội đồng Liên Hiệp Quốc bản báo cáo về sự tiến bộ "Tự do hơn nữa" (In Larger Freedom). Annan ủng hộ sáng kiến mở rộng Hội đồng bảo an cùng với một loạt các kế hoạch cải tổ Liên Hiệp Quốc khác.